深度学习模型由于其规模、结构和训练过程中固有的随机性而变得复杂。数据集的选择和归纳偏差也带来了额外的复杂性。为了解决这些可解释性挑战,Kim 等人 (2018) 引入了概念激活向量 (CAV),旨在从与人类一致的概念的角度理解深度模型的内部状态。这些概念对应于潜在空间中的方向,使用线性判别式进行识别。虽然该方法最初应用于图像分类,但后来被应用于其他领域,包括自然语言处理。在这项工作中,我们尝试将该方法应用于脑电图 (EEG) 数据,以解释 Kostas 等人的 BENDR (2021),这是一个大规模 Transformer 模型。这项工作的一个关键部分涉及定义解释概念并选择相关数据集来为潜在空间中的概念打下基础。我们重点关注脑电图概念形成的两种机制:使用外部标记的脑电图数据集和应用解剖学定义的概念。前一种方法是图像分类方法的直接概括,而后一种方法是新颖的,并且特定于脑电图。我们提供的证据表明,这两种概念形成方法都可以为深度脑电图模型学习到的表示提供有价值的见解。
主要关键词